flowchart TB
subgraph przygotowanie_danych ["I. Przygotowanie danych"]
A1[/Przygotowanie zmiennych demograficznych/]
A2[/Pozyskanie wyników wyborczych/]
end
subgraph PCA ["II. Analiza składowych głównych"]
direction LR
B1[Wykonanie PCA i zmniejszenie liczby zmiennych z 77 do 39]
B2[Powtórne wykonanie PCA i redukcja zmiennych do 12 składowych głównych]
end
B3[\Zbiór 12 komponentów\]
B4[\Tabela ładunków czynnikowych\]
B5[\Mapy wartości składowych głównych\]
B6[\Wpływ zmiennych na składowe główne\]
A1 --> PCA
B1 --> B2
PCA --> B3
PCA --> B4
PCA --> B5
PCA --> B6
subgraph Modelowanie ["III. Uczenie maszynowe"]
direction LR
C0[Połączenie i przygotowanie danych]
C1[Trenowanie modeli]
C2[Ocena wyników modelowania]
C3[Wybór najlepszego modelu]
end
A2 --połączenie zestawu z 12 komponentami--> Modelowanie
B3 --> Modelowanie
C0 --> C1 --> C2 --> C3
Modelowanie --> SHAP
subgraph SHAP ["IV. Interpretacja wyników modelowania"]
D1[Obliczanie wartości SHAP]
end
D2[\Wykresy ważności zmiennych\]
D3[\Wykresy zależności\]
D4[\Mapy wpływu komponentów\]
SHAP --> D2
SHAP --> D3
SHAP --> D4
Zastosowanie interpretacyjnego uczenia maszynowego do przestrzennej analizy profili społeczno-demograficznych wpływających na wzorce głosowania w wyborach prezydenckich w USA
Zebranie Zakładu Geoinformacji i Pracowni Geoinformatyki Stosowanej, WNGiG
03-06-2025
Wprowadzenie
Różne czynniki społeczno-ekonomiczne odgrywają kluczową rolę w kształtowaniu wyników wyborczych. Wzorce głosowania w wyborach prezydenckich USA zmieniają się w czasie i przestrzeni, odzwierciedlając reakcje społeczeństwa na zmienne warunki społeczno-ekonomiczne i polityczne.
Analizę zależności między strukturą demograficzną a preferencjami wyborczymi można prowadzić na dwa sposoby:
- bezpośrednią – opartą na indywidualnych danych ankietowych, np. exit poll
- pośrednią – wykorzystującą zagregowane na poziomie jednostek terytorialnych dane z obszernych, cyklicznych badań ankietowych
Wprowadzenie
Odpowiedzi uzyskane w ramach pośredniej metody są udostępniane w formie obszernych zbiorów danych z dużą liczbą zmiennych i wysokim poziomem współzależności między nimi, co utrudnia ich interpretację przy użyciu klasycznych metod statystycznych.
W tym celu stosuje się metody uczenia maszynowego, umożliwiające budowę złożonych modeli opisujących relacje między wynikami wyborczymi a zmiennymi je wyjaśniającymi.
Wiele zaawansowanych modeli wykrywa złożone wzorce w danych bez ujawniania struktury podejmowania decyzji, dlatego w tym celu stosuje się interpretacyjne uczenie maszynowe, które zwiększa przejrzystość złożonych modeli i wskazuje cechy najmocniej wpływające na ich wyniki.
Interpretacyjne uczenie maszynowe jest niezbędne do określenia przestrzennego profilu społeczno-demograficznego wpływającego na wzorce głosowania wyborczego
Dane
American Community Survey (ACS) to ogólnokrajowe, coroczne badanie prowadzone przez Biuro Spisowe Stanów Zjednoczonych (ang. U.S. Census Bureau).
Projekt dostarcza szczegółowych danych społeczno-ekonomicznych i demograficznych o ludności USA, a jego celem jest dostarczanie aktualnych i dokładnych danych, które wspierają decyzje rządów, organizacji pozarządowych, badaczy i firm.
W projekcie wykorzystano uśrednione dane z pięcioletnich zakresów dla każdego roku wyborczego:
- wybory 2008 (ACS 2005-2009)
- wybory 2012 (ACS 2008-2012)
- wybory 2016 (ACS 2012-2016)
- wybory 2020 (ACS 2016-2020)
- wybory 2024 (ACS 2019-2023)
Dane
tonmcg/US_County_Level_Election_Results_08-24
Wyniki wyborów prezydenckich w USA pochodzą z otwartego repozytorium GitHub autorstwa Tony’ego McGoverna.
Zbiór dostarcza przetworzone wyniki głosowań z lat 2008-2024, zintegrowane z różnych oficjalnych źródeł stanowych.
Dane obejmują liczbę, różnicę oraz udział procentowy głosów dla wszystkich hrabstw kontynentalnych Stanów Zjednoczonych w podziale na:
Demokratów Republikanów
Barack Obama
2008
John McCain
Barack Obama
2012
Mitt Romney
Hillary Clinton
2016
Donald Trump
Joe Biden
2020
Donald Trump
Kamala Harris
2024
Donald Trump
Metody
Oprócz bazowych narzędzi języka R, w projekcie wykorzystano także szereg pakietów zewnętrznych, m.in.:
Przygotowanie danych
- tidycensus – pobranie danych spisowych USA z Census API
- dplyr – manipulacja danych tabelarycznych
- sf – przetwarzanie i manipulacja danych wektorowych
PCA i modelowanie
- factoextra – wizualizacja wyników PCA
- ggplot2 – wizualizacja wyników w postaci map oraz wykresów
- mlr3 – budowa, trenowanie i ocena modeli uczenia maszynowego
- ranger – implementacja modelu lasów losowych (ang. Random Forest)
- iml – interpretacja modeli uczenia maszynowego za pomocą metody SHAP
Wizualizacje wyników
- ggplot2 – wizualizacja wyników w postaci map oraz wykresów
- DT – wizualizacja danych tabelarycznych
- shapviz – wizualizacja wyników SHAP
Analiza składowych głównych (PCA)
Analiza głównych składowych (ang. PCA, Principal Component Analysis) to najpopularniejsza metoda redukcji wymiarów danych na podstawie wariancji zbioru. PCA stosuje się w przypadku wielowymiarowych danych, aby zmniejszyć liczbę zmiennych zachowując jak najwięcej informacji (zmienności) oryginalnych danych w celu łatwiejszej interpretacji.
PCA wyszukuje kombinacji zmiennych, które najlepiej opisują różnice między obserwacjami, a następnie tworzy nowe kombinacje zwane składowymi głównymi (komponentami).
Celem wykonania PCA było zredukowanie pozyskanego zbioru zmiennych społeczno-demograficznych do kilkunastu najważniejszych składowych głównych opisujących profile społeczno-demograficzne bez utraty dużej ilości informacji w trzech etapach:
Analiza składowych głównych (PCA)
Etap II
Na gotowym zbiorze danych wykonano PCA, a następnie zawężono go do 39 zmiennych mających największy wpływ na wariancję. Zmienne te zostały wybrane ze względu na istotny wpływ (powyżej 1,5%) na najważniejsze składowe główne.
Analiza składowych głównych
Etap III
Na podstawie uzyskanych wyników dla 39 zmiennych wybrano zbiór danych ograniczający się do 12 nieskorelowanych składowych głównych, które łącznie wyjaśniały 87,4% całkowitej wariancji zbioru danych.
Analiza składowych głównych
Na podstawie wyników PCA wyodrębniono czynniki ładunkowe (ang. loadings), czyli współczynniki korelacji zmiennych z poszczególnymi składowymi głównymi. Pokazują one, jak silnie dana zmienna przyczynia się do danego komponentu.
Wysokie wartości dodatnie oznaczają silną korelację dodatnią danej zmiennej ze składową główną, wysokie wartości ujemne natomiast – silną korelację ujemną pomiędzy zmienną a składową.
Najtrudniejszym aspektem analizy wyników była szczegółowa interpretacja znaczenia poszczególnych komponentów jako profili społeczno-demograficznych kształtujących wzorce wyborcze
Analiza składowych głównych
Szczegółową interpretację wspierało zbadanie wpływu zmiennych na budowanie poszczególnych składowych głównych, umożliwiające identyfikację tych o największym udziale w tworzeniu komponentu.
Kolorem czerwonym oznaczono zmienne o ładunku ujemnym, kolorem niebieskim natomiast – te o ładunku dodatnim.
Dla pierwszej składowej głównej największym wpływem odznaczały się zmienne z wartością wpływu powyżej 6,5%, – osoby z wykształceniem wyższym i będące obywatelami USA poprzez naturalizację.
Analiza składowych głównych
Uzupełnieniem interpretacji była także identyfikacja ładunków czynnikowych każdej zmiennej, ukazująca kierunek i siłę ich powiązań ze składową główną w podziale na kategorie.
Dla pierwszego komponentu największy negatywny wpływ mają zmienne opisujące osoby z wyższym wykształceniem oraz obywateli USA uzyskanych poprzez naturalizację – im większy ich udział, tym niższa wartość komponentu.
Największe dodatnie wartości ładunku mają zmienne opisujące populacje o większym udziale obywateli USA oraz ze średnim wykształceniem – czym większy ich udział, tym wyższa wartość komponentu pierwszego.
Analiza składowych głównych
Analiza składowych głównych
Analiza składowych głównych
Analiza składowych głównych
Analiza składowych głównych
Analiza składowych głównych
W oparciu o wyniki PCA zaprezentowane przykładowo dla pierwszego komponentu, można opisać go jako profil społeczno-demograficzny różnicujący hrabstwa charakteryzujące się bardziej jednorodną, mniej zamożną i słabiej wykształconą społecznością mieszkającą na peryferiach od bardziej zurbanizowanej, wykształconej, zamożnej i zróżnicowanej demograficznie.
Na podstawie interpretacji szerokich wyników PCA opisano każdy z 12 komponentów jako profil społeczno-demograficzny wyborców, co pozwoliło na lepszą interpretację wyników uzyskanych na etapie modelowania i interpretacji modelu uczenia maszynowego.
Uczenie maszynowe
Techniki uczenia maszynowego to metody obliczeń wykorzystywane do automatycznej nauki komputera na podstawie zbiorów danych. Zamiast tworzenia własnych algorytmów, techniki te wykorzystują gotowe modele niezależne od danych wejściowych.
W przypadku złożonych zbiorów danych uczenie maszynowe zastępuje tradycyjne metody statystyczne, które są nieskuteczne dla nieliniowych zależności pomiędzy zmiennymi.
W analizie wykorzystano model regresyjny w ramach uczenia nadzorowanego – celem trenowania modelu nie była predykcja, lecz zbadanie wpływu zmiennych objaśniających na zmienną objaśnianą w celu późniejszej interpretacji.
Uczenie maszynowe
Zmiennymi objaśniającymi był zbiór 12 składowych głównych, zmienną objaśnianą natomiast – przekształcona wartość wyniku wyborczego, wyrażona jako znormalizowana różnica głosów pomiędzy kandydatem Demokratów (od -1 do 0) a Republikanów (od 0 do 1).
Uczenie maszynowe
Ze względu na charakter danych oraz zdolność do uchwycenia złożonych, nieliniowych zależności między zmiennymi, do trenowania wybrano trzy modele regresyjne:
- Random Forest – buduje wiele drzew na losowych próbkach danych i cech
- Extra Trees – działa jak Random Forest, lecz wprowadza dodatkową losowość w wyborze punktów podziału w drzewach
- XGBoost – tworzy drzewa sekwencyjnie korygując błędy poprzednich
W celu dobrania optymalnego ustawienia modeli wspomagano się tuningiem hiperparametrów, który ma na celu poprawę wydajności modelu poprzez odpowiedni dobór jego parametrów technicznych, takich jak głębokość drzew czy liczba iteracji.
Uczenie maszynowe
Dla każdego wytrenowanego modelu wykonano ocenę jego jakości, wyróżniając cztery najważniejsze statystyki: RMSE, R2, Bias oraz wariancję.
Ze względu na najlepszą jakość modelu XGBoost, zdecydowano się wybrać go do dalszej interpretacji, aby zapewnić najbardziej wiarygodne wyniki.
